Instruction Tuning
学習済みの言語モデルに対して、何らかの指示（instruction）が記述されたタスクを実行するように、ファインチューニングを行うことを指す。 一般的なファインチューニングでは、あるタスクに絞って学習を行うことが通常だが、あるタスクに対しての性能は向上するが、他のタスクについての性能は低下してしまうという問題がある。
そこでInstruction Tuningでは、学習データにない未知のタスクが与えられたときも、タスクを示す何らかの指示を与えることで、その指示に従ってタスクを実行できるように促す。
https://scrapbox.io/files/65a7a7a01df0810022327661.png
図中の「A」は通常のファインチューニングを表しており、ある特定のタスクAについて学習を行っている。
「B」では、的確な指示を出して質の高い内容を引き出すプロンプトエンジニアリングを行い、少数サンプルの例を与えることで特定のタスクについて汎化（普遍化）させる。
最後の「C」がInstruction Tuningを表しており、様々なタスクの内容と指示を与えることで、未知のタスクをゼロショット学習し、汎化させている。